Com o rápido desenvolvimento da tecnologia de inteligência artificial, muitas empresas estão lançando seus próprios sistemas de 'agentes de IA', que podem interagir autonomamente com o ambiente e concluir tarefas sem intervenção humana. A Microsoft e a Anthropic já lançaram seus próprios agentes de IA, enquanto a líder do setor, OpenAI, ainda não lançou sua versão, o que levanta questões. De acordo com a publicação The Information, o atraso da OpenAI está relacionado a ataques de 'injeção de prompt'.

A empresa de segurança PromptArmor revelou uma grave vulnerabilidade de segurança no Slack AI, indicando sua suscetibilidade a ataques de injeção de prompt malicioso. O Slack AI, um recurso adicional do serviço de comunicação em equipe da Salesforce, é usado para tarefas generativas, como resumir conversas, responder a perguntas e agregar informações de canais pouco acessados. No entanto, a PromptArmor aponta que a segurança do Slack AI não atende às expectativas. A vulnerabilidade principal reside na capacidade do Slack de consultar dados de canais públicos e privados, incluindo informações de usuários não...

O modelo Prompt-Guard-86M lançado pelo Meta visa defender contra ataques de injeção de prompt, protegendo a segurança do sistema ao restringir modelos de linguagem grandes de processarem entradas inadequadas. No entanto, o próprio modelo expôs riscos de ataque. Aman Priyanshu descobriu que, ao adicionar espaçamentos simples ou remover pontuação na entrada, o modelo ignora as instruções de segurança anteriores, obtendo uma taxa de sucesso de ataque próxima a 100%. Essa descoberta destaca a importância da segurança de IA, embora o Prompt